Mackerelで監視対象を誤って退役させた時の挙動を見てみる
こんばんわ、吉江です。
Mackerelを使用してEC2インスタンスを監視している時、退役ホスト周りで不明な挙動が合ったので
確認してみました。
どういうこと？
例えば、システム運用者が監視対象の棚卸しでMackerelで監視している対象インスタンスを誤って
退役させてしまったとします。
この時に設定によってどのような動きをするのか気になりました。
シナリオとしては以下のイメージです。
- パターン①：AWSインテグレーションでEC2インスタンスを監視している
- パターン②：mackerel-agentでEC2インスタンスを監視している
- パターン③：AWSインテグレーション + mackerel-agentで監視している(AutoRetirement無効)
- パターン④：AWSインテグレーション + mackerel-agentで監視している(AutoRetirement有効)
| パターン | AWSインテグレーション | mackerel-agent | AutoRetirement |
|---|---|---|---|
| パターン① | ◯ | X | X |
| パターン② | X | ◯ | X |
| パターン③ | ◯ | ◯ | X |
| パターン④ | ◯ | ◯ | ◯ |
確認結果
各パターンの確認結果は以下のようになりました。
パターン①：AWSインテグレーション監視
AWSインテグレーションで監視を行っている場合、これはAWSインテグレーション機能が5分間隔で対象インスタンスを確認しております。
結果：AWSインテグレーションの動作によって、次回監視対象のチェックタイミングでホスト再登録されます。
パターン②：mackerel-agent監視
mackerel-agentのみで監視している場合の挙動を見てみます。
パターン②-1：mackerel-agent再起動実施
結果：ホストの再登録が実施されませんでした
mackerel-agentのサービス再起動を実施しましたが、同じくホストの再登録が実施されません。
/var/log/mackerel-agent.logを見てみると、以下のような出力ログが見えております。
ERROR <command> Error while updating host specs: API error. status: 404, msg: api request failed
パターン②-2：管理ID削除、mackerel-agent再起動実施
管理IDが要因と考えられたので、管理IDを保存している/var/lib/mackerel-agent/idを削除してからmackerel-agentを再起動することでホストの再登録が実施されました。
結果：ホストの再登録が実施できました
パターン③：AWSインテグレーション + mackerel-agent監視(AutoRetirement無効)
結果：リタイアメント後、AWSインテグレーションとしてホスト再登録が実施されましたが、
mackerel-agentでの監視は再開されませんでした。
mackerel-agentの監視再開をするために別に3パターンを試してみました。
パターン③-1：mackerel-agent再起動実施
結果：mackerel-agentの再起動を実施するも、監視は再開されませんでした。
パターン③-2：管理ID上書き、mackerel-agent再起動実施
AWSインテグレーションでホスト登録が出来たので管理IDがmackerel側で振られてます。
この新たに振り直された管理IDをホスト側の管理IDファイル(/var/lib/mackerel-agent/id)に上書きしてみます。
結果：管理IDを上書きすることでmackrel-agentを再起動することでホスト再登録されました
パターン③-3：管理ID削除、mackerel-agent再起動実施
今度はホスト側の管理IDファイル(/var/lib/mackerel-agent/id)を削除して、mackerel-agentを再起動してみます。
結果：mackerel-agent再起動を実施することでホスト再登録が実施されました。
パターン④：AWSインテグレーション + mackerel-agentで監視している(AutoRetirement有効)場合
パターン③と同様に、AWSインテグレーションによってホストの再登録が実施されました。
パターン④-1：mackerel-agent再起動実施
結果：mackerel-agentの再起動を実施するも、監視は再開されませんでした。
パターン④-2：管理ID上書き、mackerel-agent再起動実施
結果：管理IDを上書きすることでmackrel-agentを再起動することでホスト再登録されました
パターン④-3：管理ID削除、mackerel-agent再起動実施
今度はホスト側の管理IDファイル(/var/lib/mackerel-agent/id)を削除して、mackerel-agentを再起動してみます。
結果：mackerel-agent再起動を実施することでホスト再登録が実施されました。
最後に
今回の検証は運用フェーズに入った時のオペレーションで気になった点を調べてみました。
誤って退役させるということは極力避けたいところですが、オペミスの可能性としてはあり得る事だと思いますので
注意してホスト管理は行うように心がけたいと思います。
